Sau khi nước Trần diệt vong, Tùy Văn Đế đã nạp em gái của Trần Thúc Bảo là Trần Tuyên Hoa cùng một người phụ nữ khác ở Kiến Khang là Sái Dung Hoa vào cung, tuy nhiên vì e sợ Độc Cô hoàng hậu, ông không bao giờ dám đến gần Sái phu nhân, còn Trần phu nhân dường như thỉnh thoảng có được sủng hạnh, nhưng không có đủ bằng chứng minh chứng cho việc này.

Năm 590, có lẽ vì ganh tị với tài nghệ của quan đại thần Lý Đức Lâm, người nắm nhiều quyền lực trong triều như một nhiếp chính và có đóng góp công lớn trong việc chinh phạt Trần, Văn Đế đã nghe theo lời gièm pha của các cận thần chống lại Đức Lâm, cắt chức của ông này và dời ra địa phương. Đức Lâm từ đó về sau không bao giờ được trở về triều đình nữa[62].

Sau khi thống nhất Trung Quốc, nhà Tùy áp dụng luật lệ của mình cho người dân miền nam-điều này khiến tầng lớp quý tộc miền nam bất mãn, vì họ mất đi nhiều quyền lợi từng được hưởng dưới thời Nam triều. Tô Uy do đó đã viết một cuốn sách gọi là Ngũ khảo (văn bản này đến nay không còn nữa), có nội dung tuyên truyền về công đức của triều đại mới và buộc người dân ở vùng đất mới bị chinh phạt phải trung thành với Tùy triều, buộc các quý tộc miền nam phải thuộc nằm lòng, điều này khiến họ càng bất mãn. Khi có tin đồn rằng nhà Tùy dự định dời dân cư ở Kiến Khang và Dương Châu về hết Quan Trung vào đầu năm 590, người dân ở đây đã nổi dậy. Nhà Tùy cử Dương Tố đem quân dẹp loạn. Vì quân khởi nghĩa tuy đông mà không có tổ chức chặt chẽ và thiếu sự chỉ huy thống nhất, nhà Tùy đã dễ dàng dập tắt được chỉ trong chưa đến một năm[62].

Mùa xuân năm 592, con trai Tô Uy là Tô Quỳ cùng Quốc tử bác sĩ Hà Thỏa luận về chế độ âm nhạc trong cung, nhiều người khác trong cuộc thảo luận sợ uy quyền của Tô Uy nên hùa theo Tô Quỳ, phản đối ý kiến ở Hà Thỏa. Trong sự giận dữ, Hà Thỏa tố cáo Tô Uy cùng Lư Khải, Tiết Đaoh Hành, Vương Hoằng, Lý Đồng,... kết bè đảng trong triều. Văn Đế sau khi phái Thục vương Dương Tú và Ngu Khánh điều tra sự việc, đã miễn quan tước của Tô Uy. Sau sự kiện này, Cao Quýnh và Dương Tố trở thành hai nhân vật đứng đầu trong triều đình. Khi Hạ Nhược Bật phàn nàn với Văn Đế rằng đáng lẽ người chấp chính tiếp theo nên là ông ta, Văn Đế lại cách chức tước của cả Bật, tuy nhiên đến năm sau thì phục lại; và Tô Uy cũng được tha bổng vào năm 595[37].

Năm 593, Tùy Văn Đế cho xây dựng cung điện mùa hè, gọi tên là Cung Nhân Thọ[65], giao cho Dương Tố phụ trách đôn đốc. Cung này cách thành Đại Hưng ở Trường An hơn 200 dặm. Trên đường đến cung còn cho xây thêm 12 tòa li cung. Dương Tố hết sức hà khắc, khiến người đi phu quá sức mà chết đến cả vạn người, lại đẩy thây xuống hố, lấy đất đá lấp lại. Mùa xuân năm 595, cung điện được xây xong, Văn Đế đích thân thị sát, thấy quá ư xa hoa tráng lệ, không hợp với chính sách tiết kiệm mà mình đề ra, nên trách cứ Dương Tố. Độc Cô hoàng hậu bênh vực cho Tố, giải thích rằng Hoàng đế cũng cần có chỗ tiêu khiển, và Tố làm vậy cũng chỉ là tỏ lòng trung thành, cho nên Tố chẳng những không bị phạt mà còn được trọng thưởng nữa[66].

Cuối năm 594, Dương Quảng dâng biểu xin tế trời ở Thái Sơn. Đây là một nghi lễ truyền thống của đế vương Trung Quốc, nhưng đã nhiều năm không có ai thực hiện. Lúc này Văn Đế đang chủ trương tiết kiệm, nên không chấp nhận làm lễ tế vì quá tốn kém. Tuy nhiên mùa xuân 595, vì cầu phước cho dân đói, Hoàng đế cho tổ chức tế trời với một nghi lễ đơn giản.

Lỗ quốc công Ngu Khánh Tắc sau khi bình dẹp Lý Thế Hiền ở Quế châu trở về, thì xảy ra vụ oan án và bị giết. Vốn anh rể của Khánh Tắc là Triệu Thập Trụ sợ mình có gian tình với ái thiếp của Khánh Tắc sẽ bị Khánh Tắc trả thù, liền vu cáo Khánh Tắc mưu phản. Đầu năm 598, nhà Tùy giết Khánh Tắc, mà dùng Thập Trụ làm chức Trụ quốc[37].

Năm 597, Văn Đế cho rằng hình phạt quy định hiện thời là quá nhẹ, nên hạ lệnh cho các quan viên nếu thấy cấp dưới làm việc sai trái, có thể đánh kẻ phạm tội bằng trượng nếu cảm thấy hình pháp của nhà nước không đủ xứng với tội lỗi đó. Hơn thế nữa, nhận thấy tình trạng trộm cướp trong nước gia tăng, ông cho nâng mức phạt cho tội này lên cao nhất là tử hình-tuy nhiên về sau đã bãi bỏ lệnh đó[37].

Cũng năm 597, con thứ của Văn Đế là Tần vương Dương Tuấn, người nắm quân quyền ở Tịnh châu[67], người bị sử sách đánh giá là xa xỉ và mê gái, bị người vợ đố kị là Thôi thị (con gái Thôi Hoằng Độ) hạ độc, nên sinh bệnh tật (nhưng chưa chết) và được ân chuẩn trở về kinh sư. Ít lâu sau, Văn Đế điều tra ra những hành vi xa xỉ của Dương Tuấn trong lúc làm Tổng quản ở Tịnh châu, đã cách hết chức tước của ông ta, dù vẫn cho giữ tước Vương. Khi âm mưu của Thôi phi bị vạch trần, Văn Đế lệnh Dương Tuấn li dị Thôi phi, rồi buộc bà ta tự sát. Khi Tả Vũ vệ tướng quân là Lưu Thăng cùng Việt công là Dương Tố cho rằng hình phạt cho Dương Tuấn là quá nặng tay, Văn Đế đáp rằng[37]:

Tôi là cha của năm đứa con này thôi chứ không phải là cha của cả thiên hạ hay sao? Nếu nói theo ý của ông, không khác gì ta phải thêm một cái bộ luật cho con của thiên tử? Đến cả thánh nhân như Chu Công còn phải giết hết anh em của mình là Quản công và Thái công, vì họ phạm lỗi. Tôi không có cách nào bì được với Chu Công, thì sao có thể tự mình phá vỡ luật pháp chứ?

Năm 599, tướng Vương Thế Tích bị kẻ dưới quyền là Hoàng Phủ Hiếu Hài vu cáo mưu phản và bị ban chết. Trong năm này, Văn Đế sủng hạnh cung nhân Uất Trì thị, cháu gái của Uất Trì Quýnh. Độc Cô hậu tính hay đố kị, sau khi biết tin thì cơn ghen nổi lên, chờ khi Văn Đế thượng triều, đã cho gọi Uất Trì tới đánh cho tới chết. Văn Đế trở về biết chuyện, vô cùng giận dữ, một mình cưỡi ngựa chạy vào rừng sâu, nói rằng[37]

Ta là thiên tử, mà chẳng có chút tự do.

Cao Quýnh và Dương Tố cùng nhau đuổi theo, khuyên giải một hồi, Văn Đế mới về cung. Sau đó hai người này đứng ra hòa giải cho Đế và Hậu[37]. Bấy giờ vợ lẽ của Cao Quýnh mới sinh con trai, động vào chỗ tự ái của Độc Cô hậu, nên bị Hậu căm thù. Thái tử Dương Dũng cũng vì sủng ái cơ thiếp, bỏ bê chính thất mà bị Hoàng hậu ghét bỏ. Hậu nhiều lần gièm pha trước mặt Văn Đế, từ đó ngôi vị Đông cung bắt đầu lung lay. Cao Quýnh trong một lần nghe Hoàng hậu nói bóng gió về việc này, thẳng thắn đứng dậy phản đối. Năm 599, Cao Quýnh bị buộc tội thông đồng với Vương Thế Tích và bị lột sạch quan chức. Không lâu sau, có người tố cáo Quýnh muốn làm việc như Tư Mã Ý thời Ngụy khi xưa, cáo bệnh mười mấy năm rồi có được thiên hạ. Văn Đế tức giận, sai bỏ tù Cao Quýnh vào Nội sử tỉnh. Sau đó Hiến ti lại tâu lên Văn Đế rằng Quýnh có người thuật sĩ phao tin rằng trong năm nay thiên sẽ có đại tang và vua Tùy năm thứ 17, 18 sẽ gặp tai ách, không sống được đến năm thứ 19. Hữu ti dâng tấu xin giết Quýnh, nhưng Văn Đế vì cớ mới vừa giết Ngu Khánh Tắc và Vương Thế Tích, nên tha cho Cao Quýnh, thay vào đó giáng làm dân thường[68].